Ivory đã gặp nhà sản xuất Ismail Merchant tại buổi chiếu bộ phim tài liệu The Sword and the Flute của Ivory tại thành phố New York năm 1959. Vào tháng 5 năm 1961, Merchant và Ivory thành lập công ty sản xuất phim Merchant Ivory Productions. Merchant và Ivory là người tình suốt thời gian sau này.[7][8] Quan hệ đối tác chuyên nghiệp và lãng mạn của họ kéo dài 44 năm, từ năm 1961 cho đến khi Merchant mất năm 2005.[7]

Quan hệ đối tác của họ được Sách kỷ lục Guinness ghi nhận cho mối quan hệ đối tác lâu nhất trong lịch sử điện ảnh độc lập. Cho đến khi Merchant qua đời vào năm 2005, họ đã sản xuất 40 bộ phim, bao gồm một số bộ phim nhận được giải thưởng của Viện Hàn lâm, BAFTA và Quả cầu vàng trong số nhiều phim khác. Ivory đã đạo diễn 17 bộ phim sân khấu cho Merchant Ivory và tiểu thuyết gia Ruth Prawer Jhabvala là nhà biên kịch cho 22 tác phẩm của họ bên cạnh một bộ phim khác do Merchant Ivory sản xuất sau cái chết của Merchant.

Về sự hợp tác này, Ismail Merchant từng bình luận: "Đó là một cuộc hôn nhân kỳ lạ mà chúng tôi có tại Merchant Ivory... Tôi là người Hồi giáo Ấn Độ, Ruth là người Do Thái Đức và Jim là người Mỹ tin lành. Ai đó đã từng mô tả chúng tôi như một vị thần ba đầu. Có lẽ họ nên gọi chúng tôi là quái vật ba đầu! " [9]